package engine

import "my-crawler/concurrence/model"

//ParserResult 返回Item 和 多个request(url,parser)
type ParserResult struct {
	Item    []model.SaveItem
	Request []CrawlerRequest
}

// CrawlerRequest 一次请求
type CrawlerRequest struct {
	Data     map[string]string
	HttpFunc ReqMethod
	Parser   ParserMethod //返回解析器
}

// ReqMethod Request使用的方法
type ReqMethod func(map[string]string) ([]byte, error)

// ParserMethod 解析器方法
type ParserMethod func([]byte, map[string]string) ParserResult

func NilParserResult() ParserResult {
	return ParserResult{}
}
